การอนุญาตให้เฉพาะ Search Engine หลักเท่านั้นเข้ามาเก็บข้อมูลเว็บไซต์เราได้
https://www.goragod.com/index.php?module=knowledge&id=3864
ในปัจจุบัน Bot ของ Search Engine ต่างๆมีมากมายนับไม่ถ้วน ซึ่ง Bot บางตัวก้ไม่ได้มีประโยชน์อะไรกับเราเลย เราจึงควรจำกัด Bot ที่ไม่ได้เป็นผลดีต่อเราน..